home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1994 March / Internet Info CD-ROM (Walnut Creek) (March 1994).iso / networking / info-service / wais / ir-book-sources / stopper / testfile < prev   
Encoding:
Text File  |  1993-04-08  |  1.0 KB  |  19 lines
  1.  
  2. Lexical analysis is the process of converting an input stream of 
  3. characters into a stream of words or tokens.  Tokens are groups of 
  4. characters with collective significance.  Lexical analysis is the first
  5. stage of automatic indexing, and of query processing.  Automatic 
  6. indexing is the process of algorithmically examining information items 
  7. to generate lists of index terms.  The lexical analysis phase produces
  8. candidate index terms that may be further processed, and eventually added
  9. to indexes.   Query processing is the activity of analyzing a query and 
  10. comparing it to indexes to find relevant items.  Lexical analysis of a 
  11. query produces tokens that are parsed and turned into an internal 
  12. representation suitable for comparison with indexes.
  13.  
  14. In automatic indexing, candidate index terms are often checked to see 
  15. whether they are in a stop list, or negative dictionary.  Stop list words 
  16. are known to make poor index terms, and they are immediately removed from 
  17. further consideration as index terms when they are identified.
  18.  
  19.